![[レポート] Mackerel Meetup #11 Tokyo へ行ってきました！ #mackerelio](https://devio2023-media.developers.io/wp-content/uploads/2018/02/eyecatch-mackerel-meetup-11.jpg)
[レポート] Mackerel Meetup #11 Tokyo へ行ってきました！ #mackerelio
2/5 に Mackerel Meetup #11 Tokyo が開催されたので、弊社 梶原 とふたり1で行ってきました。簡単ですがレポートしたいと思います。
なお、既に公式のレポート記事が掲載されていますので、こちらもご紹介します。
概要
エンジニアをワクワクさせる 「直感的サーバー監視サービス」 Mackerel（マカレル） のMeetup #11を開催します。
Mackerel（マカレル）は はてな社が開発・運営されている SaaS 型のサーバー監視サービスです。所謂 agent インストール型の今時の監視に加えて、AWS と連携して CloudWatch のメトリクス（一部）を監視対象にする「AWS インテグレーション機能」も備えています。
今回は 11回目ということで、下記の 4セッションが行われました。
- The 2018 Mackerel Product Roadmap
- AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側
- seesaa meets Mackerel
- Mackerel で ECS をどこまでモニタリングできるのか
会場は六本木一丁目の DMM.com さまのオフィス。会議室？の入り口へ向かう途中に 馬（アイワナシーユー） がいました。2
以下、セッションのレポートになります。
セッションレポート
最初に乾杯がありました。このあと懇親会が予定されているのですが、セッションの前に乾杯するのは初めての試みとのことですｗ
※以下敬称略
The 2018 Mackerel Product Roadmap
- 登壇者 : 杉山広通 (@sugiyama88)
- Mackerel 株式会社はてな プロデューサー
- 概要 : 今までの軌跡を踏まえ、Mackerelは今後どのような進化を遂げていくのか？2018年のプロダクトロードマップについてお話します
- Mackerelとは
- はてなの主力サービスを支え続けてきた
- 最高のドッグフーディング
- コマンドラインも特徴
- 同じロールのホストは同じグラフへ
- 選ばれる理由
- 簡単で分かりやすい
- 開発スピード（毎週リリース
- マルチクラウド
- 日本語サポートが充実
- スタートアップ支援プラン
- CloudProviderインテグレーション
- Cloud事業者の監視システムとして
- 2017年リリースの振り返り
- メトリックデータの拡充
- 堅牢なアーキテクチャへの移行
- イベント機能の拡充
- メタデータプラグイン
- Azureインテグレーション
- ioドメイン脱出
- アクション機能（自動化支援）
- checkプラグインの実行結果に基づいて任意のコマンドを実行
- 公開グラフ機能
2018年のRoadmap
- 常に最適解を供給し続ける
- Product Roadmap = 最新の開発方針
- アラートグループ
- グループ単位でのアラート
- 一定時間内のアラートをまとめて通知 > 大量のアラート通知からの開放
- コンテナの正式サポート
- カスタムダッシュボードV2
- より直感的で分かりやすい、モダンなカスタムダッシュボードへ
- ML（機械学習）の活用
- 異常検知
- 時系列データを学習し移動的に監視ルールを決めてアラートする
- MLの機能を手軽に提供できるように
- 機械学習の第1弾
- 複数のメトリックの組み合わせて学習
- 混合ガウス分布を利用したい条件値
- OSS Monitoring Affinityの拡充
- Nagios,sensuに続いて今年はPrometheusとの親和性を向上させる
- 観測範囲の拡大
- 多次元データモデル
- Discoveryで取得した情報を元にagentがexporterをscrapingし、取得したデータを時系列で取り込む
まとめ
- Mackerelのビジョン
- エンジニアをワクワクさせる「直感的サーバー監視サービス」
- DevOpsの中核として
- ライフサイクル全体の効率化を促進
- We are Hiring
AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側
- 登壇者 : 脇坂朝人 (@ast_j)
- Mackerel 株式会社 はてな アプリケーションエンジニア
- 概要：先日リリースした Mackerel の時系列データ1分粒度長期保存の開発や実装、時間が許せばモニタリングについてお話します
- 時系列データ（時系列データベース）とは
- 移行前 : Graphite
- 移行後 : diamond (内製)
- コンセプト
- スケールする
- マネージドサービスで運用省力化
- アクセス特性に応じた階層型データストア Redis,DynamoDB,S3
- DynamoDB
- メイン
- 安定・高パフォーマンス・スケーラビリティ
- 手頃なコスト
- Redis
- いまのところEC2上で稼働（マネージドサービスではない
- S3
- KVS的に利用している
- 古いデータの上書き更新は発生しない
- S3に置く際に符号化している（データ圧縮）
- 1分粒度の長期保存
- データ量がこれまでの 441倍
- 古いデータのレイテンシ要件は緩い
- 古いデータはS3に配置
- DynamoDB -> S3
- DynamoDB上からはTTL Expireで削除
- その際のイベントをDynamoDB Stream経由でLambdaが補足
- LambdaがS3にPutObject
- 利点
- 能動的な操作なくDynamoDB上のレコードを削除できる
- 失敗時のリトライも自動
- Stream以外に状態を持たない
- DynamoDB TTL Expireは 2017/02のアップデートで追加
- diamondの開発は 2016/12頃から
- S3への高頻度書き込み
- 内部シャーディング対応のためのprefix付与
- 急な増加の場合は、AWSサポート経由での事前対応依頼（暖機？）
- S3のモニタリング
- 過剰なペースでの更新は HTTP 5xxエラーが発生する（らしい）
- オプションを有効にする（オプトイン）
- 参考 : Amazon CloudWatch を使用したメトリクスのモニタリング - Amazon Simple Storage Service
mackerel-plugin-aws-s3-requests- 公式プラグインとしてリリース予定
seesaa meets Mackerel
- 登壇者 : 瀬戸祐樹 (@yseto)
- シーサー株式会社 エンジニア
- 概要 : ブログ、掲示板、wikiなどのメディアサービスを運用しているシーサーでのMackerelの活用事例
- seesaaの紹介
- インフラ・運用について
- 主に運用をやっているのは3名ほど
- インフルエンザ怖い
- 対象はオンプレ・AWS
- Mackerel以前
- savacan（さばかん）
- 独自実装
- グラフはcacti
- 運用担当者がひとり張り付き
- savacan（さばかん）
- （当時の運用環境がどのようなものだったかの詳解（書くとつらいので略））
- 「ある冬、運用担当者が辞めた」
- Mackerel
- 試用 > 即決で約 200ホストにエージェント導入
- Mackerelによって得られた監視
- 外形監視
- 「我々は雰囲気で監視をしていた」
- Mackerelのいいところ
- まずはエージェントをいれて状況を見る、というところから開始できる
- エージェントはyumで
- サポート
- Mackerel監視設定について
- PDCAを回す必要性
- エージェントの導入時期で設定・監視項目が異なる
mkrコマンドでサーバー一覧を作り、設定ファイルをダウンロードして全数検査
- やってしまいがち
- ワンライナー、やっつけプラグイン
- シェルスクリプトにする
- 既成プラグインへ載せ替え
- Whitebait
- 知らせる > しらす > シラス（whitebait）
- 該当VMが、Xen Serverのどのホストに収容されているか
- Mackerelのchecksプラグインの結果で見られるように
- yseto/whitebait: xen server self hosting assistant
- 設定レポジトリ
- 社内Git
- こんなものも監視している
- オンプレのスイッチ
- オフィスの機器
- mysqlスレーブ
- keepalived
- ハードウェアRAID
- さくらのクラウドの課金
- AWS Lambda, CloudFront
- Docker
- グラフ画像をChatWorkに
- まとめ
- インストールするだけで使えるMackerelは運用の味方
- オフィスのトラブルもMackerelで監視するとはかどる
インフラエンジニア出身の身としては、とても辛みと喜びみの伝わってくるプレゼンでした。。。
Mackerel で ECS をどこまでモニタリングできるのか
- 登壇者 : 吉田慶章 (@kakakakakku)
- 株式会社マクアケ
- 概要 : 「Mackerel の活用事例」と「Mackerel で ECS (クラスタ / コンテナインスタンス / タスク) をモニタリングしている事例」をお話します
弊社梶原がレポートしております、懇親会のレポートと合わせてこちらをご覧下さい。
[レポート]【Mackerel で ECS をどこまでモニタリングできるのか】 at Mackerel Meetup #11 Tokyo #mackerelio
所感
Mackerel Meetupには初めての参加でしたが、Mackerelはエンジニアの方向を向いた監視システムであり、そのビジョンに忠実なのだなと感じさせるセッションでした。弊社環境でも一部で使用しており、個人的に今後の発展は気になります。これからも注目していこうと思います。
![[参加レポート] 第26回クラウド女子会 AWS BuilderCardsをプレイしよう #cloudgirl #jawsug](https://devio2024-media.developers.io/image/upload/v1730540918/user-gen-eyecatch/vf89er8xbjntpesixv4u.png)
![[イベント開催レポート] Toranomon Tech Hub#1 ~好きなクラウドサービス紹介 LT大会~ #tora_tech](https://devio2024-media.developers.io/image/upload/v1729165103/user-gen-eyecatch/b0lzw9esh7u7z7izkcmd.png)
